智能制造系统以越来越多的速度部署，因为它们能够解释各种各样的感知信息并根据系统观察收集的知识采取行动。在许多情况下，智能制造系统的主要目标是快速检测（或预期）失败以降低运营成本并消除停机时间。这通常归结为检测从系统中获取的传感器日期内的异常。智能制造应用域构成了某些显着的技术挑战。特别是，通常有多种具有不同功能和成本的传感器。传感器数据特性随环境或机器的操作点而变化，例如电动机的RPM。因此，必须在工作点附近校准异常检测过程。在本文中，我们分析了从制造测试台部署的传感器中的四个数据集。我们评估了几种基于传统和ML的预测模型的性能，以预测传感器数据的时间序列。然后，考虑到一种传感器的稀疏数据，我们从高数据速率传感器中执行传输学习来执行缺陷类型分类。综上所述，我们表明可以实现预测性故障分类，从而为预测维护铺平了道路。

Contrastive learning has been successfully used for retrieval of semantically aligned sentences, but it often requires large batch sizes or careful engineering to work well. In this paper, we instead propose a generative model for learning multilingual text embeddings which can be used to retrieve or score sentence pairs. Our model operates on parallel data in $N$ languages and, through an approximation we introduce, efficiently encourages source separation in this multilingual setting, separating semantic information that is shared between translations from stylistic or language-specific variation. We show careful large-scale comparisons between contrastive and generation-based approaches for learning multilingual text embeddings, a comparison that has not been done to the best of our knowledge despite the popularity of these approaches. We evaluate this method on a suite of tasks including semantic similarity, bitext mining, and cross-lingual question retrieval -- the last of which we introduce in this paper. Overall, our Variational Multilingual Source-Separation Transformer (VMSST) model outperforms both a strong contrastive and generative baseline on these tasks.

Quantifying motion in 3D is important for studying the behavior of humans and other animals, but manual pose annotations are expensive and time-consuming to obtain. Self-supervised keypoint discovery is a promising strategy for estimating 3D poses without annotations. However, current keypoint discovery approaches commonly process single 2D views and do not operate in the 3D space. We propose a new method to perform self-supervised keypoint discovery in 3D from multi-view videos of behaving agents, without any keypoint or bounding box supervision in 2D or 3D. Our method uses an encoder-decoder architecture with a 3D volumetric heatmap, trained to reconstruct spatiotemporal differences across multiple views, in addition to joint length constraints on a learned 3D skeleton of the subject. In this way, we discover keypoints without requiring manual supervision in videos of humans and rats, demonstrating the potential of 3D keypoint discovery for studying behavior.

Accurate uncertainty quantification is necessary to enhance the reliability of deep learning models in real-world applications. In the case of regression tasks, prediction intervals (PIs) should be provided along with the deterministic predictions of deep learning models. Such PIs are useful or "high-quality'' as long as they are sufficiently narrow and capture most of the probability density. In this paper, we present a method to learn prediction intervals for regression-based neural networks automatically in addition to the conventional target predictions. In particular, we train two companion neural networks: one that uses one output, the target estimate, and another that uses two outputs, the upper and lower bounds of the corresponding PI. Our main contribution is the design of a loss function for the PI-generation network that takes into account the output of the target-estimation network and has two optimization objectives: minimizing the mean prediction interval width and ensuring the PI integrity using constraints that maximize the prediction interval probability coverage implicitly. Both objectives are balanced within the loss function using a self-adaptive coefficient. Furthermore, we apply a Monte Carlo-based approach that evaluates the model uncertainty in the learned PIs. Experiments using a synthetic dataset, six benchmark datasets, and a real-world crop yield prediction dataset showed that our method was able to maintain a nominal probability coverage and produce narrower PIs without detriment to its target estimation accuracy when compared to those PIs generated by three state-of-the-art neural-network-based methods.

Covid-19幸存者中很大一部分经历了经常影响日常生活的持续多系统症状，这种疾病被称为SARS-COV-2感染的长期或急性后静脉曲张。但是，识别长期的卷文章是具有挑战性的，因为文章是指使用各种较少常见的术语或根本不使用命名的条件。我们开发了一个迭代的人类机器学习框架，旨在有效利用可用的数据并最有效地利用人类标签。具体而言，我们的方法将数据编程与主动学习结合到了强大的集合模型中。在保留集上评估我们的模型表明了其他方法的灵敏度的三倍。我们将模型应用于PubMed来创建长期的共同集合，并证明（1）最长的卷vid文章在命名该条件时并不是用任何名称（2）来指代长的covid，在生物医学文献中最常使用的名称是长的，并且（3）长互联物与各种身体系统中的疾病有关。长期COVID系列每周更新，可在Litcovid门户网站上进行在线搜索：https：//www.ncbi.nlm.nih.gov/research/coronavirus/docsum/docsum?filters=e_condition.longcondition.longcovid.longcovid

在该职位论文中，我们提出了一种新方法，以基于问题的产生和实体链接来生成文本的知识库（KB）。我们认为，所提出的KB类型具有传统符号KB的许多关键优势：尤其是由小型模块化组件组成，可以在组合上合并以回答复杂的查询，包括涉及“多跳跃”的关系查询和查询。“推论。但是，与传统的KB不同，该信息商店与常见的用户信息需求相符。

语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。

疾病并发症会改变血管网络形态并破坏组织功能。例如，糖尿病性视网膜病是1型和2型糖尿病的并发症，可能引起失明。通过视觉检查视网膜图像来评估微血管疾病，但是当疾病表现出沉默的症状或患者无法参加面对面的会议时，这可能是具有挑战性的。我们检查了在对分段视网膜血管图像的统计和拓扑摘要进行培训时，在检测微血管疾病中的机器学习算法的性能。我们将方法应用于三个公共可用数据集，并发现，在我们考虑的13个总数描述符向量中，要么是统计框计数描述符向量，要么是拓扑洪水描述符矢量可在这些数据集中达到最高准确度。然后，我们通过合并几个数据集创建了第四个数据集：盒子计数向量优于该数据集上的所有描述符，包括对组合数据集中注释样式的差异敏感的拓扑洪水向量。我们的工作是确定哪种计算方法最适合识别微血管疾病以及其当前局限性的第一步。从长远来看，这些方法可以纳入自动化疾病评估工具中。

异常气道扩张，称为牵引支气管扩张，是特发性肺纤维化（IPF）的典型特征。体积计算断层扫描（CT）成像捕获IPF中逐渐变细的丢失。我们假设气道异常的自动化量化可以提供IPF疾病程度和严重程度的估算。我们提出了一种自动化计算管道，系统地将气道树木从基于深度学习的气道分割中划分到其裂片和世代分支，从而从胸部CT获得气道结构措施。重要的是，透气阻止通过厚波传播的杂散气道分支的发生，并通过图表搜索去除气道树中的环，克服现有气道骨架算法的限制。在14名健康参与者和14名IPF患者之间比较了透气段（跨空间）和透气曲线曲线之间的逐渐变化。 IPF患者中，Airway interberering显着降低，与健康对照相比，Airway曲线曲调显着增加。差异在下叶中最大标记，符合IPF相关损伤的典型分布。透气是一种开源管道，避免了现有的气道定量算法的限制，并具有临床解释性。自动化气道测量可能具有作为IPF严重程度和疾病程度的新型成像生物标志物。

作物产量预测是基于领域的多源周期性观察可以自动化的精密农业任务之一。我们使用培训的卷积神经网络（CNN）在与结合雷达卫星图像和地面信息的数据上培训的卷积神经网络（CNN）来解决产量预测问题。我们介绍了一个名为Hyper3DNETREG的CNN架构，其采用多通道输入图像并输出二维栅格，其中每个像素表示相应的输入像素的预测产量值。我们利用从Sentinel-1卫星获取的雷达数据，而在地面数据对应于一组六个光栅特征：施加的氮速率，降水，坡度，高度，地形位置指数（TPI）和方面。我们使用在冬小麦生长季节（3月）早期收集的数据来预测收获季节（8月）期间的产量值。我们在冬小麦的四个领域提出了实验，并表明我们的提出方法产生了比五个比较方法更好的结果，包括多个线性回归，使用Adaboost，堆叠的AutoEncoder和另外两个CNN架构的前馈网络的集合。